Hierarchical text classification aims to leverage label hierarchy in multi-label text classification. Existing methods encode label hierarchy in a global view, where label hierarchy is treated as the static hierarchical structure containing all labels. Since global hierarchy is static and irrelevant to text samples, it makes these methods hard to exploit hierarchical information. Contrary to global hierarchy, local hierarchy as a structured labels hierarchy corresponding to each text sample. It is dynamic and relevant to text samples, which is ignored in previous methods. To exploit global and local hierarchies,we propose Hierarchy-guided BERT with Global and Local hierarchies (HBGL), which utilizes the large-scale parameters and prior language knowledge of BERT to model both global and local hierarchies.Moreover,HBGL avoids the intentional fusion of semantic and hierarchical modules by directly modeling semantic and hierarchical information with BERT.Compared with the state-of-the-art method HGCLR,our method achieves significant improvement on three benchmark datasets.
translated by 谷歌翻译
大规模数据集在计算机视觉中起着至关重要的作用。但是当前的数据集盲目注释而没有与样品区分的区分，从而使数据收集效率低下且不计。开放的问题是如何积极地构建大型数据集。尽管先进的主动学习算法可能是答案，但我们在实验上发现它们在分发数据广泛的现实注释方案中是la脚的。因此，这项工作为现实的数据集注释提供了一个新颖的主动学习框架。配备了此框架，我们构建了一个高质量的视觉数据集 - 竹子，由69m的图像分类注释，带有119K类别，带有809个类别的28m对象边界框注释。我们通过从几个知识库中整合的层次分类法来组织这些类别。分类注释比Imagenet22K大四倍，检测的注释比Object365大三倍。与ImagEnet22K和Objects365相比，预先训练的竹子在各种下游任务中实现了卓越的性能（分类的6.2％增长，检测到2.1％的增长）。我们认为，我们的积极学习框架和竹子对于将来的工作至关重要。
translated by 谷歌翻译
过去几年的技术创新的巨大浪潮，标志着AI技术的进展，是深刻的重塑行业和社会。然而，在路上，一个关键的挑战等待着我们，即我们满足快速增长的情景的能力的能力受到收购培训数据的成本的严重限制。由于主流学习范式的局限性，这一困难的局面是基于主流学习范式的局限性：我们需要根据大量注释的数据以及通常从头来训练每个新场景的新模型。在解决这一基本问题时，我们超越并开发一个名为实习生的新学习范式。通过在多个阶段的来自多个来源的监控信号学习，培训的模型将产生强大的相互性。我们在26个众所周知的数据集中评估我们的模型，该数据集涵盖计算机视觉中的四类任务。在大多数情况下，我们的模型仅适用于目标域中的培训数据的10％，始终以完整的数据培训的对应物，通常由显着的边距。这是一个重要前景的重要一步，其中具有一般视觉能力的这种模型可以大大降低对数据的依赖，从而加速通过AI技术的采用。此外，围绕我们的新范式旋转，我们还介绍了一个新的数据系统，新的架构和新的基准，以及一起形成一般愿景生态系统，以开放和包容性的方式支持其未来的发展。
translated by 谷歌翻译
具有释义生成的长期问题是如何获得可靠的监督信号。在本文中，我们基于假设产生与鉴定相同的上下文相同的含义的两个句子的概率应该是相同的，提出了一种无监督的范例。灵感来自这一基本因的主意，我们提出了一种流水线系统，该系统由基于上下文语言模型的候选候选生成组成，使用评分函数的候选滤波，以及基于所选候选者的释放模型训练。提议的范例提供了现有的释义生成方法的优点：（1）使用上下文规范器在含义上，该模型能够产生大量的高质量释义对; （2）使用人为可解释的评分功能来选择来自候选者的释义对，所提出的框架为开发人员提供了一种与数据生成过程进行干预的通道，导致更可控的模型。不同任务和数据集的实验结果表明，拟议模型在监督和无人监督的设置中的有效性。
translated by 谷歌翻译
最近，为了提高无监督的图像检索性能，通过设计语义相似性矩阵提出了许多无监督的哈希方法，该方法基于预先训练的CNN模型提取的图像功能之间的相似性。但是，这些方法中的大多数倾向于忽略图像中包含的高级抽象语义概念。直观地，概念在计算图像之间的相似性中起着重要作用。在实际情况下，每个图像都与某些概念相关联，如果两个图像共享更相同的概念，则两个图像之间的相似性将更大。受到上述直觉的启发，在这项工作中，我们提出了一种带有语义概念挖掘的新颖无监督的散列散布，称为UHSCM，该挖掘利用VLP模型来构建高质量的相似性矩阵。具体而言，首先收集一组随机选择的概念。然后，通过使用及时的工程进行视觉预审进（VLP）模型，该模型在视觉表示学习中表现出强大的力量，根据训练图像将一组概念降低。接下来，提出的方法UHSCM应用了VLP模型，并再次提示挖掘每个图像的概念分布，并基于挖掘的概念分布构建高质量的语义相似性矩阵。最后，以语义相似性矩阵作为指导信息，提出了一种新颖的散列损失，并提出了基于对比度损失的正则化项，以优化哈希网络。在三个基准数据集上进行的大量实验表明，所提出的方法在图像检索任务中优于最新基准。
translated by 谷歌翻译
在这项工作中，我们考虑了多代理拾取和交付（MAPD）问题，在该问题中，代理商不断参与新任务，并需要计划无碰撞的路径以执行它们。要执行任务，代理需要访问由接送位置和交货位置组成的两对目标位置。我们提出了两种算法的变体，该变体使用Anytime Algorithm大型邻域搜索（LNS）为每个代理分配一系列任务，并使用多代理路径查找（MAPF）基于算法优先级搜索（PBS）计划路径。 LNS-PBS已完善，用于良好的MAPD实例，MAPD实例的现实子类，并且比现有完整的MAPD算法中央更有效。 LNS-WPBS没有提供完整的保证，但在经验上比LNS-PBS更高效和稳定。它扩展到大型仓库中数千名代理商和数千个任务，并且在经验上比现有的可伸缩MAPD算法HBH+MLA*更有效。 LNS-PBS和LNS-WPB也适用于MAPD的更一般变体，即多目标MAPD（MG-MAPD）问题，其中任务可以具有不同数量的目标位置。
translated by 谷歌翻译
在本报告中，我们建议针对四个EGO4D挑战任务，包括自然语言查询（NLQ），MOMMER QUERY（MQ），对象状态变更分类（OSCC），以及PNR定位（PNR）。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个验证的视频语言模型，该模型能够将其以自我为中心的视频文本表示或仅视频表示形式转移到几个视频下游任务中。我们的Egentric VLP在NLQ上实现10.46r@1&iou @0.3，MQ上的10.33地图，OSCC上的74％ACC，PNR上的0.67秒错误。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
在本报告中，我们为Epic-kitchens-100多实体检索（miR）挑战提出了一个基于视频的预处理（VLP）解决方案\ cite {kevin202222222egovlp}。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个预验证的视频语言模型，该模型能够将其自我为中心的视频文本表示为mir基准。此外，我们设计了一种自适应多构度最大损失，以有效地微调模型并为可靠的推理配备双重效果技术。我们最好的单个模型在挑战测试集上获得了强劲的性能，其中47.39％的地图和61.44％的NDCG。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
股票运动预测（SMP）旨在预测上市公司的股份量股份，由于金融市场的挥发性，这是一个具有挑战性的任务。最近的财务研究表明，动量溢出效应在股票波动中发挥着重要作用。然而，以前的研究通常只学习相关公司之间的简单连接信息，这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题，我们首先建立一个更全面的市场知识图（MKG），其中包含有限的公司，包括上市公司及其相关的高管，以及包括明确关系和隐性关系的混合关系。之后，我们提出了一种新颖的双重关注网络，以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明，所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译